W II połowie XIV wieku. Jan Kmita zbudował w tym miejscu niewielką warownię. Jego syn przebudował go w czteroskrzydłowy, gotycki, otoczony murem zamek z trzema basztami. Na zewnątrz pojawiły się ogrody w stylu włoskim. Także wyposażenie zamkowych komnat zostało wzbogacone o nowe meble, obrazy i ozdoby. W 1553 roku, 40 lat po śmierci ostatniego Kmity, zamek został sprzedany zamożnej i wpływowej rodzinie Lubomirskich, która utraciła go dopiero w wyniku nacjonalizacji pod koniec II wojny światowej. W połowie XVII wieku Szwedzi splądrowali i zdewastowali zamek. Podobno wywieźli stamtąd 150 wozów z łupami. Lubomirscy ponownie przejęli zamek, lecz nie zdołali przywrócić mu dawnej świetności. W 1831 roku na zamku wybuchł pożar.
Po II wojnie światowej zamek był bardzo zniszczony. Nie było podłóg ani stropów. Jego kompleksową odbudowę rozpoczęto w 1949 roku. Przeprowadzono całkowitą restaurację zamkowych murów. Pod koniec XX wieku zamek powrócił w ręce rodu Lubomirskich, w których pozostał do roku 2009. Obecnie jego administratorem jest Muzeum Ziemi Wiśnickiej. Na dziedzińcu zewnętrznym dostrzec można głęboką na 36 metrów studnię oraz kilka armat. Przy budowie studni pracowali jeńcy tatarscy, będący w niewoli u Lubomirskiego po bitwie pod Chocimiem w 1621 roku.
Lubomirscy byli ludźmi zamożnymi, więc chcieli wiedzieć, czy ktoś nie knuje intrygi za ich plecami. W pomieszczeniu o specyficznej akustyce ustawili konfesjonał, by móc podsłuchiwać to, co miało pozostać tajemnicą spowiedzi. Podobno zarówno Kmita jak później i Lubomirski siadali w kącie sali, by podczas spowiedzi swoich żon upewnić się, że nie dopuściły się one zdrady małżeńskiej. Podsłuchiwani byli także goście i żołnierze.
Okrągła wieża nosi nazwę królowej Bony. Podobno kiedyś podczas balu zapragnęła wyjść na wieżę i przejechać się na osiołku po daszku wokół wieży. Prośbę jej spełniono. Od tej pory takiej próbie poddawała swoich politycznych przeciwników. Jednak zamiast osła, dostawali konia, a ten podobno boi się wysokości, toteż wszelkie takie próby kończyły się niestety tragicznie.